Как „изворът“ е движещ конкуренция за доминирането на чип на NVIDIA

предизвикателите на Nvidia, се възползват от нова опция да пробият неговото доминиране на чипсите на изкуствения разсъдък, откакто китайският започващ Deepseek форсира промяната в изчислителните условия на AI.

R1 на DeepSeek и други по този начин наречени модели „ разсъждения “, като O3 на Openai и Anthropic Claude 3.7, употребяват повече изчислителни запаси от предходните AI системи сега, когато потребителят насочва настояването им, развой, наименуван „ извод “.

Това обърна фокуса на търсенето на AI калкулации, който до неотдавна беше концентриран върху образованието или основаването на модел. Очаква се изводът да се трансформира в по -голяма част от потребностите на технологията, защото търсенето нараства измежду хората и бизнеса за приложения, които надвишават известните в днешните известни чатове, като Chatgpt или Xai's Grok.

Именно тук съперниците на NVIDIA-които варират от започващи компании на AI Chipmaker като Cerebras и GROQ до персонализирани процесори на ускорители от огромни софтуерни компании, в това число Гугъл, Amazon, Microsoft и Meta-фокусират напъните си да нарушат най-ценната компания за полупроводникови артикули.

„ Обучението прави AI и изводът употребява AI “, споделя Андрю Фелдман, изпълнителен шеф на Cerebras. „ И потреблението на AI мина през покрива. . . В момента опцията да се направи чип, който е извънредно по -добър за извода, в сравнение с за образованието, е по -голям, в сравнение с преди. ”

Nvidia господства на пазара на големи изчислителни клъстери като XAI оборудване на Elon Musk в Memphis или Openai's Stargate Project с SoftBank. Но вложителите му търсят утешение, че може да продължи да продаде своите противници в надалеч по -малки центрове за данни в развой на създаване, които ще се съсредоточат върху извода.

Vipul Ved Prakash, основен изпълнителен шеф и съосновател на Toget AI, снабдител на облаци, фокусиран върху AI, който беше оценен на 3,3 милиарда $ предишния месец в кръг, воден от военачалник катализатор, съобщи, че изводът е „ огромен фокус “ ​​за неговия бизнес. „ Вярвам, че изводът в мащаб ще бъде най -голямото натоварване в интернет в даден миг “, сподели той.

Анализаторите на Morgan Stanley са оценили над 75 на 100 от енергийното и изчислителното търсене на центрове за данни в Съединени американски щати ще бъдат за извод през идващите години, макар че те предизвестиха за „ забележителна неустановеност “ за това по какъв начин тъкмо ще се извърши преходът.

И въпреки всичко това значи, че вложенията на стотици милиарди долари могат да се насочат към уреди за заключения през идващите няколко години, в случай че потреблението на AI продължава да нараства с сегашните си темпове.

Анализаторите в Barclays правят оценка финансовите разноски за извод в „ Frontier AI “ - отнасящи се до най -големите и най -модерни системи - ще надвишават това на образованието през идващите две години, скачайки от Щатски долар 122,6 милиарда ще обслужва единствено 50 на 100 от изчисленията на изводите „ в дълготраен проект “. Това оставя противниците на компанията с съвсем 200 милиарда $ в разходването на чипове, с цел да играят до 2028 година

„ Има голямо дърпане към по-добро, по-бързо, по-ефективно [чипс] “, споделя Уолтър Гудуин, създател на основания в Обединеното кралство чип пускане. Доставчиците на облачни калкулации са нетърпеливи за „ нещо, което понижава свръхзависимостта “ на NVIDIA, добави той.

изпълнителният шеф на NVIDIA Дженсън Хуанг настоя, че чиповете на компанията му са също толкоз мощни за извода, колкото и за образование, защото той гледа гигантска нова пазарна опция.

Най -новите чипове на Blackwell на американската компания са проектирани да се оправят по -добре с извода и доста от най -ранните клиенти на тези артикули ги употребяват, с цел да сервират, а не да упражняват, AI системи. Популярността на неговия програмен продукт, основана на личната му архитектура на CUDA, измежду разработчиците на AI също показва страхотна преграда на съперниците. ; " И това е единствено началото. "

Цената за обслужване на отговори от LLMS падна бързо през последните две години, водена от композиция от по -мощни чипове, по -ефективни AI системи и интензивна конкуренция сред AI разработчици като Гугъл, OpenAI и антропика. ;

Моделите V3 и R1 на DeepSeek, които провокираха суматоха на фондовата борса през януари значително заради това, което се възприема като по-ниски разноски за образование, помогнаха за понижаване на разноските за заключения, с помощта на архитектурните нововъведения на китайските започващи и кодиращи успеваемост.

В същото време типът обработка, изисквана от дилемите за заключения - които могат да включват надалеч по -големи условия за памет, с цел да се отговори на по -дълги и по -сложни поръчки - отвори вратата за други възможности на графичните единици за обработка на NVIDIA, чиито мощни страни се крият в обработката на доста огромни размери от сходни калкулации.

„ Производителността на извода на вашия хардуер е функционалност на това какъв брой бързо можете да [преместите данни] в и от паметта “, сподели Фелдман на Cerebras, чиито чипове са били употребявани от френския AI започващ Mistral, с цел да форсира продуктивността на своя чатбот, Le Chat.

Скоростта е жизненоважна за ангажирането на потребителите, сподели Фелдман. „ Едно от нещата, които Гугъл [търсене] сподели преди 25 години, е, че даже микросекунди [на забавяне] понижават вниманието на фена “, сподели той. „ Ние произвеждаме отговори за Le Chat от време на време секунда, до момента в който [Openai] O1 би взел 40. “

nvidia поддържа, че чиповете му са също толкоз мощни за извода, що се касае за тренировките, сочейки 200-кратно усъвършенстване на резултатите от извода през последните две години. В него се споделя, че стотици милиони консуматори имат достъп до AI артикули през милиони от нейните графични процесори през днешния ден.

„ Нашата архитектура е гъбична и лесна за потребление по всички тези разнообразни способи “, сподели Хуанг предишния месец, както за построяването на огромни модели, по този начин и за обслужването на AI приложения по нови способи.

Пракаш, чиято компания брои Nvidia като вложител, сподели дружно, употребява същите чипове Nvidia за уведомление и образование през днешния ден, което е „ много потребно “.

За разлика от графичните процесори на NVIDIA „ общо предопределение “, ускорителите на извода работят най -добре, когато са настроени на избран вид AI модел. В бързо движеща се промишленост това може да потвърди проблем за започващите чипове, които се залагат на неверната AI архитектура. ;

Допълнително отчитане от Майкъл Актън в Сан Франциско